Sau khi nhận chức Khu mật sứ, chức vụ võ quan tối cao khi đó, cộng với chiến công lẫy lừng nên trong triều nhiều quan lại tỏ ra ghen ghét, nghi ngờ và đàn hặc ông, như Ngự sử Trung thừa Vương Cử Chánh, Hữu ti gián Giả Ảm, Ngự sử Hàn Chí, Thượng thư Âu Dương Tu, Đồng trung thư môn hạ Bình chương sự Văn Ngạn Bác cho rằng ông thao túng triều đình và có khả năng gây ra nguy hiểm cho nhà Tống, giống như điều Tống Thái Tổ đã từng làm với Hậu Chu Cung Đế.

Tháng 8 năm Gia Hữu thứ nhất (1056), sau gần 4 năm đảm nhận chức Khu mật sứ, ông bị bãi chức, điều tới Trần Châu[1], rời xa kinh đô. Trước khi ông rời khỏi kinh đô, Tống Nhân Tông còn ban thêm cho ông hàm Đồng trung thư môn hạ Bình chương sự (Tể tướng)[1], vì thế dân gian mới có câu "tòng sĩ binh đáo Nguyên soái, tòng bố y đáo Tể tướng" để nói về ông. Tuy vậy, triều đình vẫn tiếp tục cho người giám sát ông, với việc mỗi nửa tháng lại cho người tới, về mặt danh nghĩa là hỏi thăm sức khỏe, nhưng thực ra là để giám sát. Sau đó ông bị mắc bệnh "sợ hãi suốt ngày" nên chưa tới nửa năm đã phát bệnh mà chết, vào tháng 2 âm lịch năm 1057, hưởng dương 49 năm, thụy Võ Tương. Tống sử chép rằng ông bị ung thư phát ra mồm mà chết (明年二月，疽發髭，卒: minh niên nhị nguyệt, thư phát tì, tốt nghĩa là tháng 2 năm mới, ung thư phát ra đằng mồm mà chết.)[1].